세션 이름
교육 옵션 1: 델타 레이크를 이용한 데이터 수집 (Data Ingestion with Delta Lake)
날짜 시간
2024년 9월 5일 목요일, 오후 1:00 - 오후 5:00
기술
이 과정은 데이터 전문가들이 Databricks 데이터 인텔리전스 플랫폼을 활용하여 ETL 파이프라인을
운영할 수 있도록 준비시켜드리는 과정입니다. Spark SQL과 Python을 사용하여 Delta Live Table을 정의하고 다양한 데이터 소스로부터 새로운 데이터를 점진적으로 처리하는 파이프라인을 일정에 맞춰
구성하게 됩니다. 또한, Databricks Workflows를 사용하여 작업을 조정하고 Databricks Repos를 통해 코드를 배포하는 과정을 배울 수 있습니다.